Deciding When to Rely on Visual Information: Gated Multimodal Fusion in Sequential Recommendation
决定何时依赖视觉信息：序列推荐中的门控多模态融合
🧭 多模态序列推荐 · 自适应门控融合
IKEA Retail (Ingka Group) · KTH Royal Institute of Technology
提出 VisGate，通过门控机制逐项自适应融合视觉与协同信号，并分析视觉功效的上下文变化
📌 工作参考价值（4 点）
- 在电商商品推荐中引入 item 级视觉门控，替代统一视觉融合。对视觉敏感度低的商品（如标准件、耗材）自动降低视觉权重，减少噪声；对非标品/时尚类增大权重，提升效果。
- 冷启动与稀疏交互场景：当协同信号弱时，利用门控增强视觉信号，可改善新商品或长尾商品的推荐，因为论文验证了交互稀疏下视觉效用增加。
- 视觉表征训练：采用序列共现对比学习而非简单对齐，可保持视觉与协同信号互补，提升融合有效性。可复用到多模态商品 embedding 训练。
- 将学习到的门值作为可解释性/分析工具，辅助理解商品视觉特征对转化的贡献，指导选品、内容优化或特征裁剪。